A Study on Automatic Scoring Methods for Language Learners' Shadowing Productions

Shadowing has been used as a method for improving speaking and listening ability that requires learners to repeat, or shadow, a presented native utterance as closely and as quickly as possible. Since learners have to follow the speaking rate of the input native utterance, especially in the case of beginners, their pronunciation often becomes inarticulate and corrupt. These features of shadowing make it very difficult to build a reliable scoring system for shadowed utterances. In this paper, we investigate the automatic pronunciation scoring methods for shadowing. HMM-based and clustering-based pronunciation evaluation techniques are proposed and the relationship between automatic scores and the learners’ overall English proficiency is investigated. Experiments show that good correlations are found between the automatic scores and human scores or TOEIC overall proficiency scores. Keyword shadowing, goodness of pronunciation, automatic scoring, articulatory effort, CALL 1. はじめに コミュニケーション力を重視する昨今の外国語教 育において,シャドーイングという学習方法が広がり を見せている.シャドーイングとは,聴取した外国語 音声を即座に繰り返して発声する外国語聴取・発音訓 練法である.元来,同時通訳者の訓練として広く行な われていたが,外国語学習においてもシャドーイング 学習の効果が認められるようになった [1],[2],[3],[4]. 学習初期段階の日本人が英語を発声すると,カタカ ナ英語と呼ばれる発音となることがある.認知心理学 的には「英単語の発音が,日本語の音韻に変換された 状態で,長期記憶中の心的辞書(メンタルレキシコン) に保持されていることに起因する」と考えられている. シャドーイングは,心的辞書から語彙情報を検索する 時間を十分に与えずに発声を要求するため,入力音声 の音的イメージをそのまま再生させることに繋がり, 母語の音韻体系に引きずられることなくスピーキング 能力を向上させることができる,と考えられている. さらに,シャドーイングはリスニング能力の向上もも たらす.リスニングは「知覚」と「理解」から構成さ れているが,両段階において,認知資源を消費する. シャドーイングは,母語話者の発音を繰り返して聞く ことで音声知覚過程を鍛え/自動化し,同時に,スピ ーキングを通して正確な発音(音的イメージ)を心的 辞書に定着させることで,理解の段階により多くの認 知資源を割り当てられるようになる.これらの結果, リスニング能力についても,その向上が期待できる [1],[2]. このようにシャドーイングは,スピーキング/リス ニング能力を同時に訓練できるため,コミュニケーシ ョン能力を重視する近年の外国語学習において広がり を見せている.学習意欲維持のためには学習者が自ら の習熟度を把握し,また教師側は,学習者発声を短時 間で評定し教示する必要がある.しかし,シャドーイ ングは非常に負荷の高い訓練法であり,シャドーイン グ音声は一般にかなり「崩れた」音声となる.人手で これらを逐一評定することは膨大な時間を要するため, 発音評定技術を用いた自動化が望まれるところである. 本研究では,2つの条件を考慮して,シャドーイン グ音声の自動評価について検討する.1 つは,提示音 声の書き起こしが入手可能な場合である.もう一つは 書き起こしが入手不可能な場合である(たとえば,提 示音声が何語であるか不明の場合も含む).実験の結果, 提示音声の書き起こしを利用する場合の手法として, HMM音響モデルによる自動評定スコアは,教師によ る手動スコアとの相関は発話単位では 0.85,話者単位 では 0.94,TOEIC スコアとの相関は 0.84 と良好な値を 観測した.また,提示音声の書き起こしを利用しない 場合の手法として,教師なしクラスタリングに基づく 自動評定スコアは,HMM に基づく GOP スコアとの相 関が発話単位では 0.75,文単位では 0.87 と強い相関を 得られ,手動スコアとの相関は,発話単位では 0.79, 話者平均では 0.92 となり,TOEIC スコアとの相関は 0.72 と比較的良好な相関を示しており,本研究で提案 した言語非依存モデルの有効性を示している. 2. HMM に基づく自動評定 2.1. Goodness of Pronunciation (GOP) 評定 既存の発音支援システムでよく使われている発音 評価技術として,さまざまなHMMに基づく自動評定 法が提案されている.GOP(Goodness of Pronunciation) と呼ばれる HMM 尤度比ベースの評定法が, 読み上げ 音声に対して,発音の明瞭度の指標として有効である ことは,多くの研究において示されている [5],[6]. 本研究では,WSJ 及び TIMIT データベースから学習 したHMM音響モデルを用いて,シャドーイング音声 の評定の際に参照する GOP スコアを以下のように算 出する.音素 p と観測された音声セグメント に対 して, GOP(p)は以下の式によって定義する. ) ( p O 図 1: 「黙り」を検出するためのネットワーク文法 )) | ( log( 1 ) ( ) ( p p O p P D p GOP = (1)